![arxiv：2411.08606v1 [cs.cv] 2024年11月13日](/simg/c/c3702cd5b72088acd04a59528e6a3e5a8091e57a.webp)
机构名称：
¥ 1.0
摘要。凝视估计模型概括的能力受到与凝视无关的各种因素的限制，尤其是当训练数据集受到限制时。当前的策略旨在通过不同的领域概括技术来应对这一挑战，但是由于仅依靠价值标签进行回归的风险，它们的成功有限。预训练的视觉模型的最新进展使我们促使我们利用可用的大量语义信息。我们提出了一种新颖的方法，将目光估计任务重新构架为视觉对准问题。我们所提出的框架，名为语言引导的凝视估计（LG DAIM），从富有的视觉模型的先前知识中学习了连续和几何敏感的特征，从而获得了凝视估计的益处。具体来说，LG凝视通过我们提出的多模式对比回归损失将视线特征与连续的linguistic特征相结合，该损失可定制不同负面样品的自适应重量。此外，为了更好地适应凝视估计任务的标签，我们提出了一种几何学意识到的插值方法，以获取更精确的凝视嵌入。通过广泛的实验，我们在四个不同的跨域评估任务中验证了框架的效果。
arxiv：2411.08606v1 [cs.cv] 2024年11月13日
主要关键词
![arxiv：2411.08606v1 [cs.cv] 2024年11月13日PDF文件第1页](/bimg/6/6fb818b7f620b7d826442ac19bce2a64c539a3ec.webp)
![arxiv：2411.08606v1 [cs.cv] 2024年11月13日PDF文件第2页](/bimg/f/f982b1b71c70336eee5aaf9a83506bb7ad709b4c.webp)
![arxiv：2411.08606v1 [cs.cv] 2024年11月13日PDF文件第3页](/bimg/6/6e10bfb1d2bf0cd869105e393ad1a4345c4db1a5.webp)
![arxiv：2411.08606v1 [cs.cv] 2024年11月13日PDF文件第4页](/bimg/b/b0679b534c46be4471858eec2c11bc5a58e8e3fe.webp)
![arxiv：2411.08606v1 [cs.cv] 2024年11月13日PDF文件第5页](/bimg/7/7a6c0c3acf7496bdb5e23e4c4258fe55c1c5a228.webp)
相关文件推荐
![arxiv：2411.08017v1 [cs.cv] 2024年11月12日](/simg/c/c131dbf0dfc52b3b406f28cdca6fe35c450f3932.webp)
![arxiv：2411.16489v1 [cs.cl] 2024年11月25日](/simg/2/21154fab2747c49632df27a7d0caa841bde8a03f.webp)
![arxiv：2411.18623v1 [cs.cv] 2024年11月27日](/simg/f/ffb70dc031055f868005f7e395f79b8254f9bcda.webp)
![arxiv：2411.01922v1 [CS.NE] 2024年11月4日](/simg/3/3d8777baa2c564922fab1dc64d0a10d1a423f37a.webp)
![arxiv：2411.10053v1 [CS.AI] 2024年11月15日](/simg/6/6359378da590f4fd49f5101d5b49a93246fec5d1.webp)
![arxiv：2411.04498v1 [gr-qc] 2024年11月7日](/simg/d/d6719577a52e806384b7694a89c3f5dc266f6ee0.webp)
![arxiv：2411.01086v3 [Quant-ph] 2024年11月7日](/simg/4/410fa5aa89c5f450d87b0519061fcbec18bdbb5e.webp)
![arxiv：2411.15497V2 [CS.CV] 2024年11月26日](/simg/8/811ad24cc1d5902e1721b00a4ab5775467ef340d.webp)
![arxiv：2411.02397v2 [CS.CV] 2024年11月7日](/simg/b/b528467858d2f38a90eea4422320b7196b495298.webp)
![arxiv：2411.14440v1 [physics.optics] 2024年11月5日](/simg/0/070ed0415c1bf29391f1b39877ecc1b44cd49649.webp)
![arxiv：2411.00024v3 [CS.CL] 2024年11月30日](/simg/d/df3f80982b71e7803c3f29c21a56133398da888b.webp)
![arxiv：2411.12168v2 [CS.CV] 2024年11月22日](/simg/0/0e5463a0d0a9c4f6edba8a03501a175064b7dc4a.webp)
![arxiv：2411.09370v1 [physics.atom-ph] 2024年11月14日](/simg/3/398971c3a452f9b4e9e7e0e62d625119b02463a1.webp)
![arxiv：2411.06843v1 [cond-mat.dis-nn] 2024年11月11日](/simg/1/12fa99981ba77bd65fefec04b03db1d3c22d2298.webp)
![arxiv：2410.12346v2 [cs.cv] 2024年11月21日](/simg/3/3584bb8d1e056af872da30b5740bb0aac534cfdc.webp)
![arxiv：2409.08775v1 [cs.hc] 2024年9月13日](/simg/2/2a6fe4cf1540d2566c1c48d225994924accb27e9.webp)
![arxiv：2403.05136v3 [cs.ro] 2024年11月24日](/simg/7/7ccb9318234ef0c3c1f022884cbb6b766eba2baa.webp)
![arxiv：2312.04066v4 [cs.cv] 2024年11月29日](/simg/2/299cce7dff37d86a05dd078f449eebfbae43ceb0.webp)
![arxiv：2311.17084v2 [cs.cv] 2024年11月25日](/simg/7/75b6bfeacda5aa251eae032f38d7357f820e4fd9.webp)
![arxiv：2402.14708v2 [cs.lg] 2024年11月27日](/simg/f/f4eea40ae577324e7367cebb2de8336e7a99368e.webp)
![arxiv：2405.09822v2 [cs.ro] 2024年11月18日](/simg/e/efb125d0d2f0bdb2f694f4f6433d539f297cc666.webp)
![arxiv：2410.15115v3 [cs.lg] 2024年11月27日](/simg/6/66cf6649af9d23f3e14bb27b88f10eeacff6353e.webp)
![arxiv：2411.04174v1 [cond-mat.str-el] 2024年11月6日](/simg/0/01fa048e43b7ca5590dcc2f68c24504518df7b20.webp)
![arxiv：2404.09011v1 [cs.cv] 2024年4月13日](/simg/c/c590d07fd0bfcba1c5fe56f09e038549ea47965a.webp)
![arxiv：2312.15122v4 [cs.lg] 2024年11月5日](/simg/a/aaba356e339a1418a46d524b86675b9fa2a047d5.webp)
![arxiv：2409.08774v1 [cs.cr] 2024年9月13日](/simg/c/ce15fc06632896788e1644f566351ad26b5d90f3.webp)
![arxiv：2411.19028v1 [cond-mat.supr-con] 2024年11月28日](/simg/b/bf92de7b0c6d1bc3e0cd18b1c1f633c53d78c6d1.webp)